PCT 



WELTORG AN IS ATION F(JR GE1STIGES E1GENTUM 
Internationales Buro 

INTERNATIONALE ANMELDUNG VEROFFENTLICHT NACH DEM VERTRAG OBER DIE 
INTERNATIONALE ZUSAMMEN ARBEIT AUF DEM GEBIET DES PATENTWESENS (PCT) 


(51) Internationale Patentktassifikation ? 
G06N 3/04 


A2 


(11) Internationale Veroffentlichungsnummer: WO 00/11601 

2. Marz 2000 (02.03.00) 


(43) Internationales 

Veroffentlichungsdatum: 


(21) Internationales Aktenzeichen: 

(22) Internationales Anmeldedatum: 


PCT/DE99/01949 
1. Juli 1999 (01.07.99) 


(30) Prioritatsdaten: 

198 38 654.0 


25. August 1998 (25.08.98) 


DE 


(71) Anmelder (fur alle Bestimmungsstaaten ausser US): SIEMENS 

AKTIENGESELLSCHAFT [DE/DE]; Wittelsbacherplatz 2, 
D-80333 Munchen (DE). 

(72) Erfinder; und 

(75) Erfinder/Anmclder (nur fur US): DECO, Gustavo [IT/DE]; 
Hauptstrasse 76, D-85579 Neubiberg (DE). SCHORMANN, 
Bemd [DE/DE]; Munchner Strasse 35, D-85778 
Haimhausen (DE). 

(74) Gemeinsamer Vertreter: SIEMENS AKTIENGE- 

SELLSCHAFT; Postfach 22 16 34, D-80506 MUnchen 
(DE). 


(81) Bestimmungsstaaten: US, europaisches Patent (AT, BE, CH, 
CY, DE, DK, ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, 
PT, SE). 


Veroffentlicht 

Ohne internationalen Recherchenbericht und erneut zu 
veroffentlichen nach Erhalt des Berichts. 


(54) Title: METHOD FOR TRAINING A NEURAL NETWORK, METHOD FOR CLASSIFYING A SEQUENCE OF INPUT 
PARAMETERS USING A NEURAL NETWORK, NEURAL NETWORK AND ARRAY FOR TRAINING A NEURAL 
NETWORK 

(54) Bezeichnung: VERFAHREN ZUM TRAINIEREN EINES NEURONALEN NETZES, VERFAHREN ZUR KLASSIFIK ATION 
EINER FOLGE VON EINGANGSGROSSEN UNTER VERWENDUNG EINES NEURONALEN NETZES, NEU- 
RONALES NETZ UND ANORDNUNG ZUM TRAINIEREN EINES NEURONALEN NETZES 


(57) Abstract 

The neural network is trained for a first period in such 
a way that a discrimination value is maximized, wherein the 
discrimination value is dependent on impulses formed by the 
pulsed neurons during the first period. The first period is short- 
ened in an iterative manner and a second discrimination value 
is formed for the second period until the second discrimination 
value is smaller than the maximum discrimination value. The 
trained neural network is the neural network of the last iteration 
in which the second discrimination value equals the maximum 
discrimination value. 

(57) Zusammenfassung 

Fur einen ersten Zeitraum wird das neuronale Netz der- 
art trainiert, dafi ein Unterscheidungswert maximiert wird, wobei 
der Unterscheidungswert abhangig ist von Impulsen, die von den 
gepulsten Neuronen innerhalb des ersten Zeitraums gebildet wer- 
den. Iterativ wird der erste Zeitraum so lange verkiirzt und fur 
den zweiten Zeitraum ein zweiter Unterscheidungswert gebildet, 
bis der zweite Unterscheidungswert kleiner ist als der maximale 
Unterscheidungswert. Das trainierte neuronale Netz ist das neu- 
ronale Netz der letzten Iteration, bei der der zweite Unterschei- 
dungswert gleich dem maximalen Unterscheidungswert ist. 
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Beschreibung 

Verfahren zum Trainieren eines neuronalen Netzes , Verfahren 
zur Klassif ikation einer Folge von Eingangsgrofien unter Ver- 
5 wendung eines neuronalen Netzes , neuronales Netz und Anord- 
nung zum Trainieren eines neuronalen Netzes 

Die Erfindung betrifft ein Verfahren zum Trainieren eines 
neuronalen Netzes, ein Verfahren zur Klassif ikation einer 
10 Folge von Eingangsgrofien unter Verwendung eines neuronalen 

Netzes sowie ein neuronales Netz und eine Anordnung zum Trai- 
nieren eines neuronalen Netzes. 

Ein neuronales Netz weist Neuronen auf, die zumindest teil- 
15 weise miteinander verbunden sind. Eingangsneuronen des neuro- 
nalen Netzes werden Eingangssignale als Eingangsgrofien den 
Eingangsneuronen zugefiihrt. Das neuronale Netz weist ubli- 
cherweise mehrere Schichten auf. Abhangig von einem Neuron 
des neuronalen Netzes zugeftihrten Eingangsgrofien und einer 
20 fiir das Neuron vorgesehenen Aktivierungsf unktion generiert 

jeweils ein Neuron ein Signal, welches wiederum Neuronen ei- 
ner weiteren Schicht als Eingangsgrofie gemafi einer vorgebba- 
ren Gewichtung zugefiihrt wird. In einer Ausgangsschicht wird 
in einem Ausgangsneuron eine Ausgangsgrofie abhangig von Gro- 
25 Ben, die dem Ausgangsneuron von Neuronen der vorangegangenen 
Schicht zugefiihrt werden, generiert. Es existieren derzeit im 
wesentlichen zwei Ansatze hinsichtlich der Frage, in welcher 
Form Information in einem neuronalen Netz gespeichert ist. 

30 Ein erster Ansatz geht davon aus, dafi die Information in ei- 
nem Neuronalen Netz im Spektralbereich codiert ist. Bei die- 
sem Ansatz wird eine zeitliche Folge von Eingangsgrofien der- 
art codiert, dafi fur jeden Zeitreihenwert einer zeitlichen 
Folge der Eingangsgrofien jeweils ein Eingangsneuron vorgese- 

35 hen ist, an welches Eingangsneuron der jeweilige Zeitreihen- 
wert gelegt wird. 
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Bei einem neuronalen Netz, welches gemali diesem Ansatz ausge- 
staltet ist, wird tiblicherweise als Aktivierungsf unktion eine 
tangens hyperbolicus (tanh) -Funktion verwendet . 

5 Diese erste Art eines neuronalen Netzes wird im weiteren als 
statisches neuronales Netz bezeichnet. 

Nachteilig an diesem Ansatz ist insbesondere, dali es mit ei- 
nem statischen neuronalen Netz nicht moglich ist, eine Dyna- 
10 mik eines Prozesses, welchem ProzeB ein technisches System 

unterliegt, explizit bei der internen Codierung der Folge von 
Eingangsgrofien zu berucksichtigen. 

Die aus [4] bekannten Time-Delay-Neural-Networks (TDNN) ver- 
15 suchen diesem Nachteil dadurch zu begegnen, da£> bei einer 

Mehrzahl von Folgen von EingangsgrdfJen fur jede Folge und fur 
jeden Zeitreihenwert jeweils ein Eingangsneuron vorgesehen 
ist. Dieser Ansatz weist insbesondere den Nachteil auf, dafl 
die Dimension des Eingaberaums, reprasentiert durch die An- 
20 zahl von Eingangsneuronen, mit wachsender Anzahl zu beriick- 
sichtigender unterschiedlicher Folgen von Eingangsgroften ex- 
ponentiell wachst . 

Mit steigender Anzahl von Neuronen in dem neuronalen Netz ist 
25 ferner ein erhohter Trainingsauf wand unter Verwendung einer 
mit steigender Anzahl Neuronen steigender Anzahl benotigter 
Trainingsdaten verbunden. Damit wird ein Trainieren eines 
statischen neuronalen Netzes unter diesen Bedingungen sehr 
rechenaufwendig bzw. praktisch nicht mehr durchf uhrbar . 

30 

Zum Trainieren eines statischen neuronalen Netzes wird iibli- 
cherweise ein gradientenbasiertes Trainingsverf ahren bei- 
spielsweise das Back-Propagation-Verf ahren eingesetzt . 

35 Aus [3] ist ferner fur ein statisches neuronales Netz ein 

Trainingsverf ahren bekannt, welches als ALOPEX-Verf ahren be- 
zeichnet wird. Bei diesem Verfahren wird das Lernen eines 
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statischen neuronalen Netzes als ein Optimierungsproblem be- 
trachtet. Ziel der Optimierung ist in diesem Fall die Mini- 
mierung eines FehlermaiJes E unter Beriicksichtigung von in dem 
statischen neuronalen Netz vorhandenen Gewichte, mit denen 
die Verbindungen zwischen Neuronen gewichtet sind, fur einen 
vorgegebenen Trainingsdatensatz mit Trainingsdaten . 

Ein Trainingsdatum ist ein Tupel, welches Eingangsgroften, 
beispielsweise ZustandsgroJien eines technischen Systems bzw. 
Rahmenbedingungen, denen ein technisches System unterliegt, 
die einem technischen System zugefiihrt werden, sowie eine un- 
ter den Rahmenbedingungen ermittelte Ausgangsgrofie, die von 
dem technischen System zu den EingangsgroJien gebildet wird. 

Das ALOPEX-Verf ahren wird im weiteren im Zusammenhang mit dem 
Ausfuhrungsbeispiel naher erlautert . 

Ein zweiter Ansatz ist darin zu sehen, daft die Information 
tiber ein System in dem Zeitbereich und in dem Spektralbereich 
codiert ist. Ein kunstliches neuronales Netz, welches diesem 
Ansatz Rechnung tragt, weist sogenannte gepulste Neuronen auf 
und ist aus [2] bekannt. 

Ein gepulstes Neuron wird gemafi [1] derart modelliert, dafi 
das Verhalten eines gepulsten Neurons hinsichtlich einer ex- 
ternen Stimulierung, die im weiteren als Eingangsgrofie be- 
zeichnet wird, durch eine stochastische Dif f erentialgleichung 
des Ito-Typs gemafi folgender Vorschrift beschrieben wird: 


In der Vorschrift (1) wird mit dW(t) ein Standard-Wiener- 
ProzefJ bezeichnet. Eine vorgegebene Konstante x beschreibt 
eine Verzogerung eines Membranpotentials V(t) des modellier- 
ten Neurons ohne Eingangsgrolie, die an dem Neuron anliegt. 
Durch das Modell wird ein biologisches Neuron in seinem Ver- 
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halten nachgebildet - Aus diesem Grund wird ein gepulstes Neu- 
ron auch als biologisch orientiertes Neuron bezeichnet. 

Ferner wird mit S(t) eine Kopplung des Neurons mit einem an- 
5 deren Neuron bezeichnet, d.h. es gilt: 

s(t) = A s (t) = - ti ), (2) 

i 

wobei mit tj_ eine Ankommzeit bezeichnet wird, zu der ein ex- 
10 terner Impuls an einem Eingang eines Neurons ankommt . Eine 
soma-synaptische Starke wird durch eine synaptische Groiie w 
modelliert . 

In diesem Modell wird von dem gepulsten Neuron ein Impuls ge- 
15 neriert, wenn das Membranpotential V(t) einen vorgegebenen 

Schwellenwert 0 erreicht. Nach Generierung des Impulses wird 
das Membranpotential V(t) des Neurons auf einen vorgegebenen 
Initialisierungs-Potentialwert V (0) zuruckgesetzt . 

20 Eine zeitliche Folge von Impulsen wird somit gemali folgender 
Vor schrif t beschrieben : 

tQ/ ... / t^, ... , (3) 
25 und genugt folgender Vorschrift: 

°(t) = Z - t^). (4) 

k 

Ferner ist aus [1] bekannt, dafl unter der Annahme des oben 
30 beschriebenen Modells fiir ein gepulstes Neuron ein Unter- 

scheidungswert I (T) gebildet werden kann, mit dem angegeben 
wird, mit welcher VerlaiJlichkeit eine Folge von Eingangsgro- 
fien korrekt klassif iziert wird hinsichtlich der fur ein Trai- 
ning des neuronalen Netzes verwendeten Trainingsdaten . 

35 
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Der Unterscheidungswert I (T) ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb eines Zeitraums [0; T) 
gebildet werden sowie von einer Trainings-Folge von Eingangs- 
grofien, die dem neuronalen Netz zugefiihrt werden. Der Unter- 
scheidungswert I (T) geniigt folgender Vorschrift: 


l(T) = I 


s; i 


t (i) 
t x , 

>) 


t (l) t (D t (2) t (2) t (2) 

t (n) 


-k 2 


An) .(N) (n) Jn) 


k N 


(5) 


wobei mit 

10 • s die Eingangsgrolien bezeichnet werden, 

• ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit k n (n = 1, . .., N) ein Zeitpunkt bezeichnet wird, zu 
15 dem das gepulste Neuron n den innerhalb des Zeitraums 

[0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 


20 Fur ein Neuronales Netz mit einer Mehrzahl von N Neuronen er- 
gibt sich eine stochastische Dif f erentialgleichung des Ito- 
Typs geniaft folgender Vorschrift beschrieben wird: 


25 


30 


dVi(t) = ^- + njdt + adW-^t) + 


N 


+ Z w ijZ 5 
j=l k 


t - t 


k-A i:j 


(6) 


dt + Ii(t)dt 


wobei mit 

• Vi (t) ein Membranpotential des i-ten Neurons bezeichnet 
wird (i = 1, . . . , N) , 

• N eine Anzahl in dem Neuronalen Netz enthaltener Neuro- 
nen bezeichnet wird, 
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• wj_j jeweils ein Gewicht einer Kopplung zwischen dem i- 
ten und dem j-ten Neuron bezeichnet wird, anschaulich 
eine synaptische Starke zwischen den Neuronen i und j, 
A^j eine vorgebbare axionale Ver zogerungszeit eines Si- 

5 gnals zwischen den Neuronen i und j bezeichnet wird, 

Ii(t) ein externes Stimulierungssignal des Neurons i be- 
zeichnet wird. 


Aus [4] ist ein Trainingsverf ahren fur ein neuronales Netz 
10 bekannt. Bei diesem Verf ahren wird das neuronale Netz mit dem 
Modell eines technischen Systems in einen Regelkreis derart 
eingebunden, dafi das neuronale Netz als AusgangsgroBe minde- 
stens eine Stellgrofte an das Modell abgibt und das Modell aus 
der vom Neuronalnetz zugefuhrten StellgroJJe mindestens eine 
15 Regelgrolie erzeugt, die dem neuronalen Netz als Eingangsgrofie 
zugefuhrt wird. Die Stellgrofle wird mit einem Rauschen von 
bekannter Rauschverteilung tiberlagert, bevor sie dem Modell 
zugefuhrt wird. Die Gewichte des neuronalen Netzes werden in 
Reaktion auf die durch das aufgepragte Rauschen veranderte 
20 Regelgrofie wie folgt eingestellt: Es wird von einer Kosten- 
funktion bewertet, ob die Gewichtsanderung am Netz eine Ver- 
besserung der Regelgrolie in Bezug auf ein Sollverhalten des 
Modells bewirkt hat und solche Gewichtseinstellungen werden 
durch die Kostenf unktion begiinstigt. 

25 

Der Erfindung liegt das Problem zugrunde, ein Verfahren sowie 
eine Anordnung zum Trainieren eines neuronalen Netzes mit ge- 
pulsten Neuronen anzugeben. Ferner liegt der Erfindung das 
Problem zugrunde, ein Verfahren zur Klassif ikation einer Fol- 
30 ge von Eingangsgroiien unter Verwendung eines neuronalen Net- 
zes mit gepulsten Neuronen sowie ein neuronales Netz mit ge- 
pulsten Neuronen anzugeben. 

Die Probleme werden durch die Verfahren und die Anordnung so- 
3 5 wie durch das neuronale Netz mit den Merkmalen der unabhangi- 
gen Patentanspruche gelost. 
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Ein Verfahren zum Trainieren eines neuronalen Netzes, welches 
gepulste Neuronen enthalt, weist folgende Schritte auf: 

a) fur einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, daft ein Unterscheidungswert maximiert wird, 

5 wodurch ein maximaler erster Unterscheidungswert gebildet 

wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 

10 gangsgroJlen, die dem neuronalen Netz zugeftihrt werden, 

c) iterativ werden folgende Schritte durchgef iihrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kiirzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
15 dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkiirzung des 
zweiten Zeitraums der vorangegangenen Iteration gebildet 

20 wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

25 

Ein Verfahren zur Klassif ikation einer Folge von Eingangsgro- 
iien unter Verwendung eines neuronalen Netzes, welches gepul- 
ste Neuronen enthalt und gemaii folgenden Schritten trainiert 
worden ist, weist folgende Schritte auf: 
30 a) fur einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, dafi ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
35 von den gepulsten Neuronen innerhalb des ersten Zeitraums 

gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroiien, die dem neuronalen Netz zugeftihrt werden, 
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c) iterativ werden folgende Schritte durchgef iihrt : 

- der erste Zeitraum ward zu einem zweiten Zeitraum ver- 
kurzt, 

- fiir den zweiten Zeitraum wird ein zweiter Unterschei- 
5 dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegangen Iteration gebildet 

10 wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

15 - die Folge von Eingangsgroften wird dem neuronalen Netz 

zugef iihrt, 

d) ein Klassif ikationssignal wird gebildet, mit dem angege- 
ben wird, welcher Art einer Folge von Eingangsgroiien die 
zugef uhrte Folge ist. 

20 

Ein neuronales Netz, welches gepulste Neuronen enthalt, ist 
gemaii folgenden Schritten trainiert worden: 

a) fiir einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, daii ein Unterscheidungswert maximiert wird, 

25 wodurch ein maximaler erster Unterscheidungswert gebildet 

wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 

30 gangsgroJlen, die dem neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef iihrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kiirzt , 

- fiir den zweiten Zeitraum wird ein zweiter Unterschei- 
35 dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
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einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegangen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
5 neuronale Netz ist das neuronale Netz der letzten Itera- 

tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 


Eine Anordnung zum Trainieren eines neuronalen Netzes, wel- 
10 ches gepulste Neuronen enthalt, weist einen Prozessor auf, 

der derart eingerichtet ist, daft folgende Schritte durchfuhr- 
bar sind: 

a) fur einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, daft ein Unterscheidungswert maximiert wird, 

15 wodurch ein maximaler erster Unterscheidungswert gebildet 

wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 

20 gangsgrofien, die dem neuronalen Netz zugefiihrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
25 dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegangenen Iteration gebildet 

30 wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 


35 


Durch die Erfindung wird es moglich, mittels eines neuronalen 
Netzes, welches gepulste Neuronen enthalt, eine zeitliche 


WO 00/11601 


PCT/DE99/01949 


10 

Folge von Eingangsgrofien zu klassif izieren, wobei gewahrlei- 
stet ist, dali bei optimierter Klassif ikationssicherheit eine 
minimierte Anzahl von Zeitwerten dem neuronalen Netz zur 
Klassif ikation zugefuhrt werden miissen. 

5 

Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den 
abhangigen Anspriichen. 

Bevorzugt wird zur Maximierung des ersten Unterscheidungs- 
10 werts und/oder des zweiten Unterscheidungswerts ein nicht 

gradientenbasiertes Optimierungsverf ahren eingesetzt, bevor- 
zugt ein auf dem ALOPEX-Verf ahren basierendes Optimierungs- 
verf ahren. 

15 Der erste Unterscheidungswert geniigt vorzugsweise folgender 
Vorschrif t : 


l(T) = I 


s; 


t (D t (l) t (D t (2) (2) t (2) 


k 2 


t (n) t (n) (N) .(N) .(N) 


k N 


(7: 


2 0 wobei mit 

• s die Eingangsgrofien bezeichnet werden, 

• t^^ ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

25 • mit k n (n = 1, . .., N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 
[0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 

30 

In einer weiteren Ausgestaltung geniigt der erste Unterschei- 
dungswert folgender Vorschrift 


WO 00/1 1 60 1 PCT/DE99/01 949 

11 

I(T) = -J p(out) • lnfeCoui^dtP... dt£>... dtgj* + 

Z Pj J P (out|s0)) • ^(out^t^... dtg... dtg 


+ 

j = l 


(8) 


mit 

5 p(out) = X Pjp(outs^)j , (9) 
j = l 

wobei mit 

• eine Eingangsgroiie bezeichnet wird, die an das Neurona- 

le Netz zu einem Zeitpunkt j angelegt wird, 
10 • pj eine Wahrscheinlichkei t dafur bezeichnet wird, daii zu 

einem Zeitpunkt j die Eingangsgroiie an das Neuronale 

Netz angelegt wird, 

3 Cj) | eine bedingte Wahrscheinlichkeit dafur bezeichnet 


• p^out 

wird, ein Impuls von einem gepulsten Neuron in dem Neurona- 
ls len Netz generiert wird unter der Bedingung, daii zu einem 

Zeitpunkt j die Eingangsgroiie s^ an das Neuronale Netz an- 
gelegt wird. 

Die Trainings-Folgen von Eingangsgrolien sind bevorzugt gemes- 
20 sene physikalische Signale. 

Somit sind die Verfahren und die Anordnungen im Rahmen der 
Beschreibung eines technischen Systems, insbesondere zur Be- 
schreibung bzw. Untersuchung eines mehrkanaligen Signals, 
25 welches durch einen Elektroencephalographen auf genommen wor- 
den ist und ein Elektroencephalogramm beschreibt, einsetzbar. 


30 


Die Verfahren und die Anordnungen konnen ferner zur Analyse 
multivarianter Finanzdaten in einem Finanzmarkt zur Analyse 
okonomischer Zusammenhange eingesetzt werden. 
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Die beschriebenen Verf ahrensschritte konnen sowohl in Soft- 
ware fur den Prozessor als auch in Hardware, d.h. mittels ei- 
ner Spezialschaltung, realisiert werden, 

5 Ein Ausfuhrungsbeispiel der Erfindung ist in den Figuren dar- 
gestellt und wird im weiteren naher erlautert. 

Es zeigen 

10 Figur 1 ein Ablauf diagramm, indent die einzelnen Verf ahrens- 
schritte des Ausfiihrungsbeispiels dargestellt sind; 

Figur 2 eine Skizze eines Elektroencephalographen und einem 
Patienten fur den ein Elektroencephalogramm erstellt 
15 wird; 

Figur 3 eine Skizze eines neuronalen Netzes gemaB dem Ausflih- 
rungsbeispiel ; 

20 Figur 4 eine Skizze, anhand der das Prinzip, welches dem Aus- 
fuhrungsbeispiel zugrunde liegt, dargestellt wird. 

Fig. 2 zeigt einen Patienten 200, an dessen Kopf 201 Sensoren 
202, 203, 204, 205 und 206 angebracht sind zur Aufnahme von 

25 Gehirnstomen. Von den Sensoren 202, 203, 204, 205, 206 aufge- 
nommene elektrische Signale 207, 208, 209, 210 und 211 werden 
einem Elektroencephalographen 220 iiber eine erste Eingangs- 
/Ausgangsschnittstelle 221 zugefiihrt. Der Elektroencephalo- 
graph 220 weist mehrere Eingangskanale auf. Uber die Ein- 

30 gangs-/Ausgangsschnittstelle 221, die mit einem Analog- 

/Digital-Wandler 222 verbunden ist, werden die elektrischen 
Signale dem Elektroencephalographen 220 zugefuhrt und in dem 
Analog-/Digital-Wandler 222 digitalisiert und jedes aufgenom- 
mene elektrische Signal wird als eine Folge von Zeitreihen- 

35 werten in einem Speicher 223 gespeichert. 
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Somit ist eine Folge von Zeitreihenwerten durch ein Abtastin- 
tervall sowie durch eine Zeitdauer, im weiteren als Zeitraum 
bezeichnet, charakterisiert , wahrend der jeweils ein elektri- 
sches Signal aufgenommen wird, Der Speicher 223 ist mit dem 
5 Analog-/Digital-Wandler 222 sowie rait einem Prozessor 224 und 
einer zweiten Eingangs-/Ausgangsschnittstelle 225 iiber einen 
Bus 22 6 verbunden. 

Mit der zweiten Eingangs-/Ausgangsschnittstelle 225 ist fer- 
10 ner iiber ein erstes Kabel 227 ein Bildschirm 228/ iiber ein 

zweites Kabel 229 eine Tastatur 230 und iiber ein drittes Ka- 
bel 231 eine Computermaus 232 verbunden. 

Auf dem Bildschirm 228 werden Ergebnisse der Untersuchung des 
15 Patienten 200 dargestellt. tiber die Tastatur 230 bzw. die 
Computermaus 2 32 konnen von einem Benutzer (nicht darge- 
stellt) Eingaben in das System erfolgen. 

Der Prozessor 224 ist derart eingerichtet , dafi die im weite- 
20 ren beschriebenen Verf ahrensschritte durchfiihrbar sind. 

Jeweils eine Folge von Zeitreihenwerten sowie eine Angabe, 
welcher Klasse von Zeitreihenwerten die Folge von Zeitreihen- 
werten zuzuordnen ist, bilden ein Trainingsdatum. 

25 

Eine Vielzahl von Trainingsdaten bilden einen Trainingsdaten- 
satz, mit dem ein im weiteren beschriebenes neuronales Netz 
301 trainiert wird. 

30 Fig. 3 zeigt das neuronale Netz 301 mit gepulsten Neuronen. 

An jeweils ein Eingangsneuron 302, 303, 304 einer Eingangs- 
schicht 305 wird jeweils eine Folge 306, 307, 308 von Zeit- 
reihenwerten angelegt. Jeder angelegter Folge 306, 307, 308 
35 von Zeitreihenwerten ist im Rahmen des Trainingsverf ahrens 

eine Angabe zugeordnet, ob es sich bei dieser Folge 306, 307, 
308 der Zeitreihenwerte, im weiten als Eingabemuster 306, 
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307, 308 bezeichnet, um ein Eingabemuster 306, 307, 308 einer 
ersten Klasse oder urn ein Eingabemuster 306, 307, 308 einer 
zweiten Klasse handelt. 

5 Jeweils ein Eingangsneuron 302, 303, 304 ist mit einem Zwi- 
schenneuron 309, 310, 311 einer Zwischenschicht 312 jeweils 
uber eine gewichtete Verbindung 313, 314, 315 verbunden. 

Die Zwischenneuronen 309, 310, 311 sind miteinander uber Ver- 
io bindungen 316, 317, 318, 319, 320, 321 verbunden, die eben- 
falls gewichtet sind. 

Die Zwischenneuronen 309, 310, 311 sind ferner mit weiteren 
gepulsten Neuronen 322, 323, 324 uber gewichtete Verbindungen 
15 325, 326, 327, 328, 329 und 330 verbunden. 

Die gepulsten Neuronen weisen jeweils das oben beschriebene 
Verhalten auf, welches in [2] dargestellt ist. 

20 Die Zwischenneuronen 309, 310, 311 sind mit mehreren Zwi- 
schenneuronen 309, 310, 311 verbunden, jeweils die weiteren 
gepulsten Neuronen 322, 323, 324 sind jeweils mit genau einem 
Zwischenneuron 309, 310, 311 verbunden. Auf diese Weise ist 
es moglich, eine lang reichende Beeinf lussung zwischen Neuro- 

25 nen eines neuronalen Netzes sowie auch eine lokale Beeinflus- 
sung von Neuronen innerhalb des Neuronalen Netzes zu model- 
lieren. 

Mit den weiteren gepulsten Neuronen 322, 323, 324 ist ein 
30 Ausgangsneuron 331 uber gewichtete Verbindungen 332, 333 und 
334 verbunden. Von dem Ausgangsneuron 331 wird ein Ausgangs- 
signal 335 gebildet, mit dem angegeben wird, welcher Klasse 
das Eingabemuster 306, 307, 308 zugehorig ist. 

35 In der Trainingsphase des neuronalen Netzes 301 wird die Aus- 
gangsgrolie 335 mit der dem jeweiligen Eingabemuster zugeord- 
neten Klassif ikationsangabe verglichen und es wird ein Feh- 
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lersignal E gebildet, welches verwendet wird zur Anpassung 
der Gewichte, der in dem Neuronalen Netz 301 vorhandenen Ver- 
bindungen zwischen den Neuronen. 

5 Als Trainingsverf ahren wird im Rahmen dieses Ausf uhrungsbei- 
spiels das nicht gradientenbasierte Verfahren gemaft dem 
ALOPEX-Verf ahren eingesetzt. Das Ziel des ALOPEX-Verf ahrens 
ist die Minimierung eines Fehlermafies E unter Berucksichti- 
gung und Adaptierung der Gewichte wj DC fur einen Trainingsda- 
10 tensatz. 


Das ALOPEX-Verf ahren wird im weiteren naher erlautert. 


Ein Neuron b ist mit einem Neuron c liber eine Verbindung ver- 
15 bunden, die mit dem Gewicht w^ c gewichtet ist. Wahrend. einer 
f-ten Iteration wird das Gewicht Wk c gemaft folgender Vor- 
schrif t aktualisiert : 


20 


w 


bc(f) = w bc( f - 1) + ^bc(f)/ (10) 


wobei mit 5j DC (f) eine kleine positive oder negative vorgege- 
bene Schrittweite 5 gemafi folgender Vorschrift bezeichnet 
wird: 

[-S mit einer Wahrscheinlichkeit Pbc( f ) 
25 ^bcvv = i . (11) 

[+S mit einer Wahrscheinlichkeit 1 - pj DC (f) 


Eine Wahrscheinlichkeit Pk c (f) wird gebildet gemafl folgender 
Vorschrift: 

30 Pbc(f) — kw' 

1 + e ^ 

wobei C]3 C (f) gemafi folgender Vorschrift gebildet wird: 


C bc (f) = Aw bc (f) • AE(f) . 


(13) 
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Mit T(f) wird ein vorgebbarer Wert bezeichnet. Mit Aw bc (f) 
und AE(f) werden die Gewichtsanderungen Aw bc (f) der Gewichte 
w bc die Anderung AE(f) des FehlermaUes E wahrend der 

5 vorangegangenen zwei Iterationen bezeichnet gemaft folgenden 
Vorschrif ten : 

Aw bc( f ) = w bc( f ~ 1) + w bc(f ~ 2), (14) 
10 AE bc (f) = E bc (f - 1) + E bc (f - 2) . (15) 

Der vorgegebene Wert T(f) wird alle F Iterationen aktuali- 
siert gemafi folgender Vorschrif t: 

" T(f) = ZW^I (16) 

b c f' = f-F 

wenn f ein ganzzahliges Vieifaches von F ist, und 
T(f) = T(f - l) sonst, (17) 

20 wobei mit M eine Anzahl von Verbindungen in dem neuronalen 
Netz 301 bezeichnet wird. 

Gleichung (16) kann vereinfacht werden zu folgender Vor- 
schrif t : 

25 

T(f) - f ZV^OI- (18) 
f = f -F 

Das neuronale Netz 301 wird unter Verwendung des Trainingsda- 
tensatzes gemafi dem oben beschriebenen Trainingsver f ahren 
30 trainiert. 


Ferner wird ein erster Unterscheidungswert I (T) fur das neu- 
ronale Netz 301 gemali folgender Vorschrif t gebildet: 
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AD t (l) t (D t (2) t (2) fc (2) X] 

i_2 / ••* / L m / ••• / ' 1 ' ' ' **" ' *^2.' *" ' 

An) An) An) .(n) .(n) M\ ' (19) 
/ ••• / / / k n ' *"" ' 1 ' *** ' tci ' ' kjsj j 

wobei mit 

• s die Eingangsgrofien bezeichnet werden, 

5 • ein Impuls bezeichnet wird, der von einem gepulsten 

Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit k n (n = 1, . . . , N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 

10 [0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 

Der erste Unterscheidungswert I (T) entspricht anschaulich der 
15 Differenz folgender Entropien: 


I(T) = I 


s; 


I(T) = H(out) - (H(out|s)) , (2 0) 

mit 

20 

H(out) = -J p(out) - ln(p(out))dt^... dt^... dt^ (21) 
und 

25 <H(out|s)) s 


Damit ergibt sich der erste Unterscheidungswert I (T) gemali 
folgender Vorschrift: 

30 


= - X PjJ F^outst^ ■ ln^p^outs^jdt 


j = l 


(1) 


dt 


(1) 
ki' 


dt 


(N) 

k N 


(22) 
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-(1) ,.(1) 


dt (N) 
kl- dt k N 


I(T) = -J p(out) • ln(p(out))dtf'... dt] 

£ Pj J p(out| S 6)) • l^outlsO^dt^... dt^... dt<*> 


j=l 


(23) 


mit 


5 p(out) = Y, Pjp[out s( j ) J , 


10 


15 


20 


25 


(24) 


wobei mit 

• eine EingangsgroBe bezeichnet wird, die an das Neurona- 
le Netz zu einem Zeitpunkt j angelegt wird, 

• pj eine Wahrscheinlichkeit dafiir bezeichnet wird, daft zu 

einem Zeitpunkt j die EingangsgroBe ,0) an das Neuronale 
Netz angelegt wird, 


p out 


eine bedingte Wahrscheinlichkeit dafiir bezeichnet 


wird, ein Impuls von einem gepulsten Neuron in dem Neurona- 
len Netz generiert wird unter der Bedingung, dafi zu einem 

Zeitpunkt j die EingangsgroBe an das Neuronale Netz an- 

gelegt wird. 

1st im Rahmen des Trainings des neuronalen Netzes 301 ein ma- 
ximaler erster Unterscheidungswert I (T) ermittelt worden, so 
bedeutet dies, daJi das in dem ersten Zeitraum beobachtete 
Eingangsmuster 306, 307, 308 genug Information enthalt, urn 
mit ausreichender Verlafilichkeit das Eingabemuster zu klassi- 
f izieren . 

Anschaulich wird im Rahmen des Trainings fur einen ersten 
Zeitraum [0; T] der erste Unterscheidungswert I (T) gebildet 
(Schritt 101) (vgl. Fig.l ) . 


30 In einem weiteren Schritt (Schritt 102) wird ein zweiter 
Zeitraum durch Verkurzung des ersten Zeitraums gebildet: 
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[0; T' ] / wobei T' < T. 

Fur den zweiten Zeitraum [0; T' ] wird in einem weiteren 
5 Schritt (Schritt 103) ein zweiter Unterscheidungswert I(T f ) 
auf die gleiche, oben beschriebene Weise wie der erste Unter- 
scheidungswert I (T) gebildet. 

Der erste Unterscheidungswert I (T) wird mit deni zweiten Un- 
10 terscheidungswert I(T ! ) verglichen (Schritt 104). 

1st der zweite Unterscheidungswert I(T f ) gleich dem ersten 
Unterscheidungswert I (T) , so wird ein neuer zweiter Zeitraum 
durch Verkiirzung des zweiten Zeitraums [0; T' ] gebildet 
15 (Schritt 105) und der neue zweite Zeitraum wird als der zwei- 
te Zeitraum angesehen (Schritt 106) . Fur den zweiten Zeitraum 
der neuen Iteration wird wiederum ein zweiter Unterschei- 
dungswert I(T f ) (Schritt 103) gebildet. 

20 Anschaulich bedeutet dieses iterative Verfahren, dafi der 

Zeitraum, in dem von den gepulsten Neuronen generierte Impul- 
se beriicksichtigt werden zur Bildung des Ausgangssignals so- 
lange verkurzt wird, bis der zweite Unterscheidungswert I(T ! ) 
ungleich dem ersten Unterscheidungswert I (T) ist. 

25 

Ist der zweite Unterscheidungswert I(T') kleiner als der er- 
ste Unterscheidungswert, so wird das neuronale Netz 301 als 
optimiertes neuronales Netz betrachtet, welches in der letz- 
ten vorangegangenen Iteration trainiert wurde, bei dem der 
30 zweite Unterscheidungswert I(T') nicht kleiner als der erste 
Unterscheidungswert I(T) war (Schritt 107). 

Der jeweils beriicksichtigte Zeitraum wird in diskrete Unter- 
zeitraume unterteilt, fur die jeweils lediglich ermittelt 
35 wird, ob wahrend dieses Unterzeitraums ein Neuron einen Im- 
puls generiert hat oder nicht. 
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Auf diese Weise wird der fur das Training benotigte Rechen- 
aufwand erheblich reduziert. 

Zur weiteren Veranschaulichung wird das Prinzip anhand Fig . 4 
5 noch einmal erlautert. 

Fig. 4 zeigt zwei kontinuierliche Prozesse pi und p2, die 
durch eine Menge von kontinuierlichen Eingangssignalen SI und 
S2 gebildet sind. Nach entsprechender , oben beschriebener Di- 
gitalisierung liegen zwei Folgen von Eingangsgrolien vor, die 
Eingabemuster. Die Eingabemuster werden dem trainierten neu- 
ronalen Netz 401 in einer Anwendungsphase zugeftihrt, und es 
wird anhand der Zeitreihen fur das trainierte neuronale Netz 
401 anschaulich eine raum-zeitliche Codierung der Prozesse 
pi, p2 durchgef uhrt . 

Anhand eines Ausgangssignals 402 wird durch das trainierte 
neuronale Netz 4 01 angegeben, um welche Art von Prozeii es 
sich bei dem Eingabemuster handelt. Das trainierte neuronale 
Netz 401 weist die Eigenschaft auf, daJS zum einen die Zuver- 
lassigkeit der Klassif ikation optimiert ist und zum anderen 
eine minimale Anzahl von Zeitreihenwerten, also ein minimaler 
zweiter Zeitraum 403 erforderlich ist, um die Klassif ikation 
verlafilich durch zufiihr en . 

Im weiteren werden einige Alternativen zu dem oben beschrie- 
benen Ausf lihrungsbeispiel dargestellt: 

Die Anzahl von Eingangen, gepulsten Neuronen sowie Ausgangs- 
30 signalen ist im allgemeinen beliebig. Auch die Anzahl ver- 

schiedener Folgen von Zeitreihenwerten im Rahmen der Klassi- 
f ikation sowie des Trainings ist beliebig. Damit ist eine 
Elektroencephalogramm-Analyse fiir eine beliebige Anzahl von 
Kanalen zur Tumorcharakterisierung moglich. 


10 


15 


20 


25 
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Patent anspruche 

1. Verfahren zum Trainieren eines Neuronalen Netzes, welches 

gepulste Neuronen enthalt, 
5 a) bei dem fur einen ersten Zeitraum ([0;T]) das Neuronale 
Netz derart trainiert wird, dali ein Unterscheidungswert 
maximiert wird, wodurch ein maximaler erster Unterschei- 
dungswert gebildet wird, 

b) bei dem der Unterscheidungswert abhangig ist von Impul- 
10 sen, die von den gepulsten Neuronen innerhalb des ersten 

Zeitraums gebildet werden sowie von einer Trainings-Folge 
von Eingangsgrofien, die dem Neuronalen Netz zugefuhrt 
werden, 

c) bei dem iterativ folgende Schritte durchgefiihrt werden: 
15 - der erste Zeitraum wird zu einem zweiten Zeitraum ver- 


tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

2. Verfahren nach Anspruch 1, 
30 bei dem zur Maximierung des ersten Unterscheidungswerts 

und/oder des zweiten Unterscheidungswerts ein nichtgradien- 
tenbasiertes Optimierungsverf ahren eingesetzt wird. 


25 


20 


kiirzt, 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 


35 


3. Verfahren nach Anspruch 2, 

bei dem das Optimierungsverf ahren auf dem ALOPEX-Verf ahren 
basiert . 
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4. Verfahren nach einem der Anspriiche 1 bis 3, 

bei dem der erste Unterscheidungswert I (T) folgender Vor- 

schrift gentigt: 


5 l(T) = I 


t (l) 

An) 
t 2 , .. 


t (l) t (D t (2) t (2) 


, t 


(2) 

k 2 ' ' 


^(n) An) (N) (n) ^(N) 

' L m ' *■* ' kj^ ' **" ' 1 ' *" ' ^ti ' **" ' kj^ 


wobei mit 

• s die Eingangsgrofien bezeichnet werden, 

• tfn^ ein Impuls bezeichnet wird, der von einem gepulsten 
10 Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 

[0, T] generiert wird, 

• k n (n = 1, N) ein Zeitpunkt bezeichnet wird, zu dem 
das gepulste Neuron n den innerhalb des Zeitraums [0, T] 
letzten Impuls generiert hat, 

IS • N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
\ Neuronen bezeichnet wird. 


^ 5. Verfahren nach Anspruch 4, 

bei dem der erste Unterscheidungswert I (T) folgender Vor- 
20 schrif t gentigt : 

I(T) = -Jp(out) • ln(p(out))d4 l) ...dt ( k 1 i ) ...dt^ ) + 

+ Z PjJ p(outlsO)) • In^outls^dt^... dt£>... dt^ 

j = l 


25 


mit 


p(out) = X PjP^utls^)) , 

j=l 


wobei mit 
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• eine Eingangsgroiie bezeichnet wird, die an das Neurona- 
le Netz zu einem Zeitpunkt j angelegt wird, 

• pj eine Wahrscheinlichkeit dafiir bezeichnet wird, daft zu 

einem Zeitpunkt j die Eingangsgroiie an das Neuronale 

Netz angelegt wird/ 


wird, daft ein Impuls von einem gepulsten Neuron in dem Neu- 
ronalen Netz generiert wird unter der Bedingung, daft zu ei- 
nem Zeitpunkt j die Eingangsgrofie s^) an das Neuronale Netz 
angelegt wird. 

6. Verfahren nach einem der Anspriiche 1 bis 5, 

bei dem die Trainings-Folge von Eingangsgroften gemessene phy- 
sikalische Signale sind. 

7. Verfahren nach Anspruch 6, 

bei dem die Trainings-Folge von Eingangsgroften gemessene Si- 
gnale eines Electroencephalogramms sind. 

8. Verfahren zur Klassif ikation einer Folge von Eingangsgro- 
ften unter Verwendung eines Neuronalen Netzes, welches gepul- 
ste Neuronen enthalt und gemaft folgenden Schritten trainiert 
worden ist: 

a) fur einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, daft ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroften, die dem Neuronalen Netz zugefiihrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kiirzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dun g s we r t geb i 1 de t , 
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- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert , so erfolgt eine neue Iteration rnit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 

5 det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

10 - bei dem die Folge von Eingangsgrolien dem Neuronalen Netz 
zugeftihrt wird, 

- bei dem ein Klassif ikationssignal gebildet wird, mit dem 
angegeben wird, welcher Art einer Folge von EingangsgroJien 
die zugefuhrte Folge ist. 

15 

9. Verfahren nach Anspruch 8, 

bei dem die Trainings-Folge von Eingangsgrolien und die Folge 
von Eingangsgrolien gemessene physikalische Signale sind. 

20 10. Verfahren nach Anspruch 9, 

bei dem die Trainings-Folge von Eingangsgrolien und die Folge 
von Eingangsgrolien gemessene Signale eines Electroencephalo- 
gramms sind. 

25 11. Neuronales Netz, welches gepulste Neuronen enthalt und 
gemali folgenden Schritten trainiert worden ist: 

a) fur einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, daii ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 

30 wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgrolien, die dem Neuronalen Netz zugeftihrt werden, 

35 c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt, 
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- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 

5 einem neuen zweiten Zeitraum, der durch Verkurzung des 

zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 

10 tion, bei der der zweite Unterscheidungswert gleich dem 

ersten Unterscheidungswert ist. 

12. Neuronales Netz nach Anspruch 10, eingesetzt zur Klassi- 
fikation eines physikalischen Signals. 

15 

13. Neuronales Netz nach Anspruch 10, eingesetzt zur Klassi- 
fikation eines Signals eines Electroencephalogramms . 

14. Anordnung zum Trainieren eines Neuronalen Netzes, welches 
20 gepulste Neuronen enthalt, 

mit einem Prozessor, der derart eingerichtet ist, daft folgen- 
de Schritte durchfiihrbar sind: 

a) fur einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, dali ein Unterscheidungswert maximiert wird, 

25 wodurch ein maximaler erster Unterscheidungswert gebildet 

wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 

30 gangsgroiien, die dem Neuronalen Netz zugefiihrt werden, 

c) iterativ werden folgende Schritte durchgefiihrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kiirzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
35 dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
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einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet imd das trainierte 
5 Neuronale Netz ist das Neuronale Netz der letzten Itera- 

tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

15 .Anordnung nach Anspruch 14, eingesetzt zur Klassif ikation 
10 eines physikalischen Signals. 

16*Anordnung nach Anspruch 14, eingesetzt zur Klassif ikatika- 
tion eines Signals eines Electroencephalogramms . 
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